Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement
基于在线策略知识边界增强的高效智能体强化学习
🧭 Agent 工具调用效率优化 ★ 深度解读
Tencent Inc · The Chinese University of Hong Kong · Shenzhen MSU-BIT University
通过在线双路径 rollout 探测知识边界，构建细粒度监督信号，在不牺牲准确率的前提下减少冗余工具调用 18%。
📌 工作参考价值（4 点）
- 在 Agent RL 训练中引入双路径（with-tool / no-tool）rollout 来动态评估模型是否真正需要工具，这一探测机制可直接用于电商对话 Agent 或推荐 Agent 的工具调用决策，避免因盲目调用搜索、计算等工具而增加延迟和成本。
- 将问题按知识边界分为四类（Tool‑dependent / Efficiency / Hallucination / Both‑wrong）并差异化构建监督信号，这种细粒度策略可迁移到多智能体协作或生成式推荐场景，用于优化不同情境下的资源调度与动作选择。
- 该方法作为即插即用模块，与 GRPO / DAPO / GSPO / AEPO 等多种主流 Agentic RL 算法兼容，无需修改奖励函数或优化流程，适合在现有业务 RL 训练框架上快速叠加实验。
- 训练过程中轨迹类别的分布变化（如 Efficiency 比例上升）可作为知识内化的可解释指标，帮助监控 Agent 对工具依赖的演化，为线上策略调整提供信号。